Pelajaran 5 menandai pergeseran penting dalam COMP5511. Kita beralih dari logika deterministik komputasi klasik dan kepastian terawasi dari model klasifikasi awal ke inti probabilistik dari AI Generatif. Dalam sesi ini, kita akan mengeksplorasi mengapa model AI modern tidak menghasilkan "fakta" melainkan distribusi probabilitas, mengungkap mekanisme yang memungkinkan LLM menulis puisi dan model difusi melukis dari noise.
1. Pergeseran Paradigma: Dari Logika ke Probabilitas
- Melampaui IF-THEN: Beralih dari aturan kaku ke kemungkinan statistik yang luwes.
- Akhir dari Kepastian: Memahami mengapa hasil GenAI bersifat non-deterministik berdasarkan desainnya.
- Probabilitas sebagai Alat: Bagaimana "Era GenAI" memperlakukan ketidakpastian sebagai fitur untuk kreativitas daripada bug yang harus diperbaiki.
2. Mesin Probabilistik Penciptaan
AI Generatif bergantung pada sampling dari ruang probabilitas berdimensi tinggi. Baik menghasilkan teks maupun gambar, model menavigasi ketidakpastian untuk menghasilkan kebaruan:
- Model Bahasa Besar (LLM): Memprediksi token berikutnya bukan sebagai satu pilihan, melainkan sebagai distribusi kemungkinan.
- Model Difusi: Seni merekayasa balik keteraturan dari noise Gaussian yang kacau.
- Proses Sampling: Bagaimana keacakan dimanfaatkan untuk mencegah keluaran yang repetitif dan "robotik".
3. Agen di Dunia yang Tidak Dapat Diprediksi
Agen Otonom harus menavigasi "Dunia Terbuka" di mana setiap tindakan membawa tingkat risiko dan imbalan yang tidak diketahui.
Trade-off Halusinasi
Model yang sepenuhnya deterministik memang aman tetapi kurang pemikiran orisinal. Dengan merangkul ketidakpastian, kita memungkinkan kreativitas, tetapi kita juga memperkenalkan risiko Halusinasi—where the model confidently generates plausible but false information.
Logika Sampling Konseptual
1
Define functionGenerate_Response(Prompt,Temperature):
2
Calculateprobability distribution for all possible next tokens;
3
Adjust distribution based on Temperature(Higher = more diverse, Lower = more focused);
4
Select next token using Weighted Random Choice;
5
Repeat until completion.
Probabilistic Modeling
Modern AI views the world through the lens of statistics rather than binary truths.